多列的Pyspark百分位数

2024-05-11 02:09| 来源: 网络整理| 查看: 265

我想使用pyspark将pyspark dataframe的多个数值列转换为它的百分位值，而不改变它的顺序。

例如，给定要转换为百分位arr = [Salary, Age, Bonus]的列数组和以下输入，我希望得到以下输出

输入

代码语言：javascript复制+----------+-------------+---------+--------+-----+-------+ | Empl. No | Dept | Pincode | Salary | Age | Bonus | +----------+-------------+---------+--------+-----+-------+ | 1 | HR | 111 | 1000 | 45 | 100 | | 2 | Sales | 596 | 500 | 30 | 50 | | 3 | Manufacture | 895 | 600 | 50 | 400 | | 4 | HR | 212 | 700 | 26 | 60 | | 5 | Business | 754 | 350 | 18 | 22 | +----------+-------------+---------+--------+-----+-------+

输出

代码语言：javascript复制+----------+-------------+---------+--------+-----+-------+ | Empl. No | Dept | Pincode | Salary | Age | Bonus | +----------+-------------+---------+--------+-----+-------+ | 1 | HR | 111 | 100 | 80 | 80 | | 2 | Sales | 596 | 40 | 60 | 40 | | 3 | Manufacture | 895 | 60 | 100 | 100 | | 4 | HR | 212 | 80 | 40 | 60 | | 5 | Business | 754 | 20 | 20 | 20 | +----------+-------------+---------+--------+-----+-------+

列表中给定元素'x‘的百分位数公式=(小于’x‘的元素数/元素总数) *100

【本文地址】

公司简介

联系我们